关闭。这个问题需要更多focused.它目前不接受答案。想改进这个问题吗？更新问题，使其只关注一个问题editingthispost.关闭4年前。Improvethisquestion为什么我的网站上需要一个Robot.txt文件。我知道怎么用，我想知道为什么用？

我创建了一个web应用程序并使用wordpress托管这个网站。当我在goole中搜索名称时，它显示Adescriptionforthisresultisnotavailablebecauseofthissite'srobots.txt为什么会这样。元标记有问题吗？ 最佳答案 您网站的robots.txt文件不允许抓取您在Google搜索中找到的网页。这意味着Google的机器人不会访问此页面来阅读其内容。robots.txt文件存在于URL/robots.txt，例如，http://example.com/robots.txt。您

我有一个最新的WordPress网站，运行WooCommerce和Yoast，在每个页面的标题中设置了以下noindex。x-robots-tag:noindex,nofollow,nosnippet,noarchive我不确定它来自哪里。唯一的引用资料是wp-admin/admin-ajax、一些woocommerce插件文件、一些Yoast文件和一个wp-includes文件；我认为没有什么不寻常的。Cloudflare已启用，据我所知可能会以某种方式导致此问题，但暂停它似乎不会产生任何影响。Yoast已按许多其他站点正常配置。我很难理解是什么导致/控制了这个-甚至是什么、何时以及

当我将我的网站robots.txt提交到GoogleSearchConsole时，它​​显示为错误，如下面的屏幕截图所示。 最佳答案 只需将robots.txt文件上传到根目录即可。前往yourdomain.com/robots.txt自行检查。如果有效，那么它...有效!Google可能需要一段时间才能更新SearchConsole中的状态。有时您需要将视线从SearchConsole上移开;-) 关于seo-GoogleSearchConsole上的Robots.txt错误，我们在S

我对robots.txt这个话题很陌生。我已经研究了几个小时并尝试实现它。我有一个名为login和view的Controller。我想要的只是谷歌搜索只列出我的ViewController而不是登录Controller。但是现在当我在谷歌中搜索我的网站时，它在View之前显示登录。如何使用robots.txt从Goolge中删除登录信息？ 最佳答案 关于robots.txt的很多信息你可以在那里找到:http://www.robotstxt.org/robotstxt.html简单的例子:User-agent:*Disallow:/

我创建了一个谷歌博客站点，并且我在那里有27个帖子。我还在谷歌搜索控制台中提交了我的网站。问题是robot.txt文件阻止了我的26个帖子。我通过robot.txt测试器进行了检查，它允许我的所有帖子，但谷歌搜索控制台页面显示我有26个帖子被机器人阻止。我该如何解决这个问题？请帮助我。这是一些截图。截图一截图二 最佳答案 如果您更改了robotstxt以允许它们在WMT中获取并呈现为google。谷歌将在几天内为这些页面编制索引。 关于seo-我的GoogleBlogger帖子被robo

我的应用程序url如下所示http://example.com/app/1http://example.com/app/2http://example.com/app/3...http://example.com/app/n现在我想阻止所有这些URL被抓取，但不阻止http://example.com/app我如何使用robots.txt执行此操作 最佳答案 将以下内容添加到您的robots.txtDisallow:/app/这将允许http://example.com/app但不是http://example.com/app/*您

目前在我的网上商店中，在页面太多的类别页面上，url以https://www.example.com?p=2结尾p=3...我想告诉robots.txt不要索引以p=Number结尾的url。我该怎么做呢？顺便说一下，这是一个prestashop网站。谢谢大家。 最佳答案 只需将这一行添加到您的robots.txt文件中:Disallow:/?p=*例如，这将阻止像example.com/?p=2这样的URL被Google之类的网站编入索引。*符号代表所有。所以p=之后的任何内容都将被包含在内。

关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭11年前。Improvethisquestion我需要了解RobotsMeta的最佳配置。那是一个wordpressplugin搜索引擎优化。

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭9年前。Improvethisquestion我想阻止所有机器人抓取子目录http://www.mysite.com/admin以及该目录中的任何文件和文件夹。例如，/admin中可能还有更多目录，例如http://www.mysite.com/admin/assets/img我不确定在robots.txt中包含什么是正确的声明来执行此操作。应该是:User-agent:*Disallow:/admin/或者:User-agent:*D